"""
多线程爬虫配置文件
"""

# 线程配置
THREAD_CONFIG = {
    "thread_count": 4,          # 线程数量 (建议不超过cookie数量)
    "request_delay": 15,        # 请求间隔（秒）
    "error_delay": 120,         # 错误重试间隔（秒）
    "max_retries": 3,           # 最大重试次数
    "retry_delay": 30,          # 重试间隔（秒）
}

# 文件配置
FILE_CONFIG = {
    "result_dir": "./res",                      # 结果目录
    "file_suffix": "_mt",                       # 多线程文件后缀
    "keywords_file": "static/keywords.txt",    # 原始关键词文件
    "cleared_keywords_file": "static/keywords_cleared.txt",  # 清洗后关键词文件
}

# 爬取配置
CRAWL_CONFIG = {
    "years": [2023, 2024],      # 要爬取的年份
    "start_pool": 0,            # 开始的池ID
    "end_pool": None,           # 结束的池ID (None表示全部)
}

# 调试配置
DEBUG_CONFIG = {
    "verbose": True,            # 详细日志
    "save_progress": True,      # 保存爬取进度
    "show_statistics": True,    # 显示统计信息
}
